Kết hôn với Charlotte của Bỉ và không có hậu duệ.

Kết hôn lần 2 với Maria Annunziata của Hai Sicilie (1843–1871) từ 1862 đến 1871 và có hậu duệ (ba con trai và một con gái).

Kết hôn lần 3 với Maria Teresa da Imaculada của Bồ Đào Nha (1855–1944), từ 1873 đến 1896 và có hậu duệ (hai con gái).

Karl Ludwig là cha của Franz Ferdinand của Áo, người thừa kế lâm thời bị ám sát vào năm 1914, châm ngòi cho Chiến tranh thế giới thứ nhất.

Thông qua con traiOtto Franz Joseph của Áo, Karl Ludwig là ông nội của Hoàng đế Áo cuối cùng là Karl I.